Ablación en inferencia NVFP4: bloque, pesos y escala para redes de borde
El estudio de ablación NVFP4 muestra cómo ajustar bloque, pesos y escala logra inferencia eficiente en dispositivos de borde con hasta 26.85x menos energía.
#inferencia de borde